# 为了真实模拟浏览器访问，避免远程服务器将我们识别为一个爬虫程序，从而将我们访问结果进行截断
#      截断方式有  1.不返回任何内容  2.将IP添加至黑名单

# 为了伪装浏览器需要给访问添加请求头信息


import urllib
from urllib import request

'''
从浏览器中复制请求头信息
    1.在浏览器中按F12进入开发者模式
    2.选中Network
    3.刷新页面，重新访问url
    4.找到其中任意一个请求，点击
    5.从页面中的headers中找到Request headers的 User-Agent 复制
'''
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
}

# url = "http://www.baidu.com"
url = "http://movie.douban.com/top250?start=25&filter="
request_obj = request.Request(url=url, headers=headers)
response = request.urlopen(request_obj)
print(response.read().decode('utf8'))
